Văn đế cho rằng đôi bên đã sinh hiềm khích, sợ gây vạ lớn, nên quyết định ra tay trước. Tháng 10 ÂL năm 440, Văn đế bắt Lưu Trạm giao cho Đình úy, định tội chết, lại khép tội chết bọn Lưu Bân cùng Đại tướng quân Lục sự tham quân Lưu Kính Văn, Tặc tào tham quân Khổng Thiệu Tú, Trung binh tham quân Hình Hoài Minh, Chủ bộ Khổng Dận Tú, Đan Dương thừa Khổng Văn Tú, Tư không tòng sự trung lang Tư Mã Lượng, Ô Trình lệnh Thịnh Đàm Thái. Đày Thượng thư khố bộ lang Hà Mặc Tử, Dư Diêu lệnh Hàn Cảnh Chi, Vĩnh Hưng lệnh Nhan Diêu Chi, em Trạm là Hoàng môn thị lang Lưu Tố, em Bân là Cấp sự trung Lưu Ôn đi Quảng Châu; phế quan Vương Lý, cho về nhà. Dận Tú ban đầu làm Thư ký mà được tín nhiệm, dần tham gia cơ mật; Văn Tú, Thiệu Tú đều là anh trai của ông ta. Tư Mã Lượng là cháu bên ngoại của họ Khổng, cũng do Dận Tú tiến cử. Hoài Minh, Đàm Thái do Nghĩa Khang cất nhắc, Mặc Tử, Cảnh Chi, Diêu Chi được Lưu Trạm tiến cử.

Hôm sau Nghĩa Khang vào hầu, bị giữ lại ở Trung thư tỉnh, đêm ấy bọn Lưu Trạm bị bắt giữ. Thanh Châu thứ sử Đỗ Ký đưa quân giữ trong điện để phòng bị biến cố. Văn đế tuyên chỉ thông cáo tội trạng của bọn Trạm, Nghĩa Khang dâng biểu từ chức, được đổi thụ Đô đốc Giang Châu chư quân sự, Giang Châu thứ sử, Trì tiết, Thị trung, tướng quân như cũ, ra trấn Dự Chương.

Nghĩa Khang ở tỉnh hơn 10 ngày, Quế Dương hầu Lưu Nghĩa Dung, Tân Dụ hầu Lưu Nghĩa Tông, Bí thư giám Từ Trạm Chi đến úy dụ. Nghĩa Khang từ biệt Văn đế rồi xuống thuyền, hai người nhìn nhau mà khóc, không nói lời nào. Đế sai sa môn Thích Tuệ Lâm đưa tiễn, Nghĩa Khang hỏi mình còn có thể trở lại triều đình hay không, Tuệ Lâm đáp: “Tiếc rằng ngài không đọc vài trăm quyển sách.”

Chinh lỗ tư mã Tiêu Bân, khi xưa được gần gũi Nghĩa Khang, bị bọn Lưu Bân ganh tỵ, gièm pha đuổi ra ngoài; Văn đế bèn lấy Bân làm Tư nghị tham quân, lĩnh Dự Chương thái thú, việc không kể lớn nhỏ, đều ủy cho ông ta. Tư đồ chủ bộ Tạ Tống, vốn bị Nghĩa Khang xem thường, Văn đế lấy Tống làm Ký thất tham quân. Những thủ hạ mà Nghĩa Khang yêu mến, đều được làm tùy tùng theo ông đến Dự Chương. Nghĩa Khang từ chức Giang Châu, Văn đế đồng ý, tăng làm Đốc Quảng, Giao 2 châu, Tương Châu chi Thủy Hưng chư quân sự. Nghĩa Khang được chu cấp rất hậu, tin tức liền lạc; triều đình có việc lớn, đều thông báo cho ông.